사카나 AI(Sakana AI)는 각 쿼리를 최적의 퍼블릭 AI 모델로 분산시키는 라우터인 '퓨구 울트라(Fugu Ultra) v1.1'을 발표했습니다. 이번 업데이트는 이전 대비 성능이 크게 향상되었으며, 라우터 모델 풀(pool)에 포함되지 않은 경쟁사인 페이블 5(Fable 5)마저 능가한다고 주장합니다. 다만, 이러한 성능 수치는 아직 사카나의 자체 측정 결과이므로 독립적인 검증이 필요한 상태입니다.
사카나 AI(Sakana AI)는 인간의 뇌와 같이 생물학적으로 구현 불가능한 기존의 가중치 전달(역전파) 방식을 대체하는 '오차 확산(Error Diffusion)' 기술을 제안했습니다. 이 접근법은 데이브의 원칙(Dale's principle)을 준수하는 이중 스트림 네트워크를 훈련시켜, 역전파 없이도 MNIST에서 96.7%, CIFAR-10에서 61.7%의 높은 정확도를 달성했습니다. 이는 생물학적 신경망의 원리에 가까운 차세대 효율적 AI 아키텍처 및 강화학습 연구에 중요한 전환점을 제시합니다.
일본의 스타트업 사카나 AI가 최신 LLM들을 상황에 맞게 교체 및 할당하는 새로운 오케스트레이션 모델 '후구(Fugu)'를 출범했습니다. 이 모델은 복잡한 작업을 각 모델의 특성에 맞게 분산하여 처리함으로써 코딩, 추론, 에이전트 성능을 평가하는 주요 벤치마크에서 압도적인 성능을 기록했습니다.
사카나 AI와 엔비디아 연구진은 L1 정규화를 적용해 피드포워드 레이어의 99% 이상을 희소화(Sparsity)하면서도 모델 성능 저하를 최소화하는 기법을 선보였습니다. 이를 새로운 희소 데이터 포맷과 융합된 CUDA 커널(CUDA Kernels)을 통해 실제 GPU 처리량 향상으로 연결하여, LLM의 학습 속도를 최대 21.9%, 추론 속도를 20.5% 각각 향상시켰습니다.
사카나 AI가 대규모 언어 모델(LLM)의 지식을 실시간으로 주입할 수 있는 새로운 음성 대 음성(Speech-to-Speech) 아키텍처 'KAME'를 소개했습니다. 이 기술은 기존 시스템의 한계를 넘어 응답 지연 시간(Latency)을 전혀 추가하지 않으면서도 고도화된 지식 기반 대화를 가능하게 합니다. 실무자 관점에서 실시간성과 정확성이 필수적인 차세대 AI 음성 비서 개발에 매우 중요한 돌파구로 평가됩니다.